Stata：缺失值的填充和补漏
👇 连享会 · 推文导航 | www.lianxh.cn
🍎 Stata：Stata基础 | Stata绘图 | Stata程序 | Stata新命令 📘 论文：数据处理 | 结果输出 | 论文写作 | 数据分享 💹 计量：回归分析 | 交乘项-调节 | IV-GMM | 时间序列 | 面板数据 | 空间计量 | Probit-Logit | 分位数回归 ⛳ 专题：SFA-DEA | 生存分析 | 爬虫 | 机器学习 | 文本分析 🔃 因果：DID | RDD | 因果推断 | 合成控制法 | PSM-Matching 🔨 工具：工具软件 | Markdown | Python-R-Stata 🎧 课程：公开课-直播 | 计量专题 | 关于连享会
连享会 · 2022 面板数据因果推断专题
作者： 刘祎 (江西财经大学国贸学院)
邮箱： louisones@qq.com
目录
1. 引言
2. 问题与方法
2.1 缺失数据会带来的问题
2.2 缺失数据的常用方法
3. tsfill 和 ipolate 命令简介
4. Stata 实操：tsfill 和 ipolate 命令
4.1 时间序列数据
4.2 面板数据
5. iploate 方法评价
参考资料
温馨提示： 文中链接在微信中无法生效。请点击底部「阅读原文」。或直接长按/扫描如下二维码，直达原文：
1. 引言
在实证研究中，我们经常会遇到数据缺失的问题。在样本较大的情况下，我们可以删除缺失值，而在样本较小的情况下，缺失值的影响会变得很大，此时，填补数据这项工作就变得相对重要。
本文主要介绍了 Stata 中较为常用的缺失数据处理命令 tsfill 和 ipolate，旨在为大家处理缺失数据问题时提供帮助。
2. 问题与方法
2.1 缺失数据会带来的问题
通常，在缺失部分数据的情况下，只要数据量足够大，我们可以将含有缺失值的样本删掉，并且不会对结果产生太大影响。但是，在「样本量小」和「缺失数据多」的情况下，我们简单的删掉数据，会损失较多的信息，并且使得结果有偏。
例如，下表中有 8 个样本，左边为含有缺失值的数据，右边为完整数据，并且左边部分 有 4 个缺失值。当我们删除缺失值时，左边 均值为 39，而右边 均值为 29.75，可以看出二者还是有很大差别的。
+--------------------------------------+
| 含有缺失值的数据 | 完整数据 |
+--------------------------------------+
|Case Age Gender | Case Age Gender |
+--------------------------------------+
|1 . Female | 1 21 Female |
|2 . Male | 2 22 Male |
|3 39 Male | 3 39 Male |
|4 . Female | 4 20 Female |
|5 42 Male | 5 42 Male |
|6 . Female | 6 18 Female |
|7 37 Male | 7 37 Male |
|8 38 Male | 8 39 Male |
+--------------------------------------+
(缺失数据和完整数据的基本格式)
2.2 缺失数据的常用方法
求均值
好处：简单 坏处：取均值会降低数据的方差 使用范围：当分组数据特征是可以观测到的情况下，可以分组求均值
删除缺失值
好处：比较干净的剔除了不完整的缺失数据 坏处：减少了样本数量，尤其是数据量不大的时候 使用范围：如果缺失数据量小于 2%
插补法
好处：简单 适用范围：当数据的缺失不是随机出现的时候。时间序列数据例如 GDP，收入等比较适用
3. tsfill 和 ipolate 命令简介
在时间序列数据中，ipolate 需要与 tsfill 搭配使用。首先用tsfill 补充缺失时间，然后用 ipolate 进行「插值或外推」补齐数据。
tsfill 注意事项
tsfill使用前必须将数据设定为「时间序列数据」或「面板数据」；tsfill的主要作用是对数据中时间变量 () 的缺失值进行填补或扩充。
ipolate 原理
如一份数据有 3 个变量 ， 和 ， 是时间，且 变量在 时点有缺失值 ；
+-------------+
| t y x |
|-------------|
| 0 65 8 |
| 1 . 15 |
| 2 80 20 |
+-------------+
的计算公式：
4. Stata 实操：tsfill 和 ipolate 命令
下面对 tsfill 和 ipolate 在时间序列和面板数据中的使用方法进行举例说明。
4.1 时间序列数据
以 tsfillxmpl 这份数据为例，数据中缺失了 1995 年 9 月、1995 年 10 月、1996 年 2 月的数据。
. use https://www.stata-press.com/data/r16/tsfillxmpl, clear
. tsset
time variable: mdate, 1995m7 to 1996m3, but with gaps
delta: 1 month
. list mdate income, sep(0)
+------------------+
| mdate income |
|------------------|
1. | 1995m7 1153 |
2. | 1995m8 1181 |
3. | 1995m11 1236 |
4. | 1995m12 1297 |
5. | 1996m1 1265 |
6. | 1996m3 1282 |
+------------------+
tsfill 的作用在于「撑大样本 (新增观察值)」，以便让缺失值所在空位一目了然。
. tsfill
. list mdate income, sep(0)
+------------------+
| mdate income |
|------------------|
1. | 1995m7 1153 |
2. | 1995m8 1181 |
3. | 1995m9 . |
4. | 1995m10 . |
5. | 1995m11 1236 |
6. | 1995m12 1297 |
7. | 1996m1 1265 |
8. | 1996m2 . |
9. | 1996m3 1282 |
+------------------+
在得到了这几个新增的观测值后，我们就可以使用 ipolate 创建新变量，并进行数据填充。
. ipolate income mdate, gen(ipinc) //income 是 mdate 函数
. list mdate income ipinc, sep(0)
+------------------------------+
| mdate income ipinc |
|------------------------------|
1. | 1995m7 1153 1153 |
2. | 1995m8 1181 1181 |
3. | 1995m9 . 1199.3333 |
4. | 1995m10 . 1217.6667 |
5. | 1995m11 1236 1236 |
6. | 1995m12 1297 1297 |
7. | 1996m1 1265 1265 |
8. | 1996m2 . 1273.5 |
9. | 1996m3 1282 1282 |
+------------------------------+
实际上，ipolate 只能填补数值范围内的缺漏值，无法填补数值范围外的缺漏值，即只能用于「插值」。若要进行「外推」，我们还需要在 ipolate 命令后加上 epolate 选项。关于「插值」和「外推」区别，详见「The Difference Between Extrapolation and Interpolation」。
具体来看，我们先生成一份数据，然后剔除一部分数据，最后再分别用「插值」和「插值+外推」的方法生成变量 和 。观察下表，我们可以发现，在 list x if ymissing != . 范围内， 和 是相同的，但是在范围外，「插值法」不起作用，而「插值+外推法」可以填充缺失值。
*-产生一份数据
clear all
set obs 20
set seed 10101
gen id =_n
gen year = _n+1999
gen x = rnormal(8,1)
gen e = rnormal(2,1)
gen y=1+2*x+e
tsset year
*-将 y > 20 定义为缺失值
gen ymissing = y
replace ymissing = . if ymissing > 20
*-进行插值和外推
ipolate ymissing x, gen(y1)
ipolate ymissing x, gen(y2) epolate
*-列示数据
sort x
list year y x ymissing y1 y2, sep(0)
+---------------------------------------------------------------+
| year y x ymissing y1 y2 |
|---------------------------------------------------------------|
1. | 2016 14.22344 6.224262 14.22344 14.223439 14.223439 |
2. | 2003 16.01714 6.299623 16.01714 16.017143 16.017143 |
3. | 2012 15.6483 6.631131 15.6483 15.648301 15.648301 |
4. | 2018 15.23791 6.776969 15.23791 15.237909 15.237909 |
5. | 2017 19.02291 7.256191 19.02291 19.022915 19.022915 |
6. | 2014 18.78441 7.443309 18.78441 18.78441 18.78441 |
7. | 2004 17.76631 7.66682 17.76631 17.76631 17.76631 |
8. | 2019 19.20397 7.694068 19.20397 19.203974 19.203974 |
9. | 2009 19.79814 7.845325 19.79814 19.798141 19.798141 |
10. | 2011 18.87022 8.242313 18.87022 18.870222 18.870222 |
11. | 2002 20.07537 8.258301 . 19.029664 19.029664 |
12. | 2008 19.78762 8.334302 19.78762 19.787622 19.787622 |
13. | 2010 19.64958 8.389261 19.64958 19.649576 19.649576 |
14. | 2000 20.51375 8.392216 . 19.649501 19.649501 |
15. | 2013 20.21895 8.769518 . 19.639873 19.639873 |
16. | 2001 19.63783 8.849615 19.63783 19.637829 19.637829 |
17. | 2005 18.35985 9.265242 18.35985 18.359848 18.359848 |
18. | 2007 22.23178 9.515868 . . 17.589214 |
19. | 2015 25.5771 10.40832 . . 14.845067 |
20. | 2006 24.7197 10.81053 . . 13.608347 |
+---------------------------------------------------------------+
4.2 面板数据
以 tsfillxmpl2.dta 为例，我们可以看到个体 2 缺失了 1991 年数据。
. webuse tsfillxmpl2, clear
. tsset
panel variable: edlevel (unbalanced)
time variable: year, 1988 to 1992, but with a gap
delta: 1 unit
. list edlevel year income, sep(0)
+-------------------------+
| edlevel year income |
|-------------------------|
1. | 1 1988 14500 |
2. | 1 1989 14750 |
3. | 1 1990 14950 |
4. | 1 1991 15100 |
5. | 2 1989 22100 |
6. | 2 1990 22200 |
7. | 2 1992 22800 |
+-------------------------+
与时间序列数据类似，我们可以通过 tsfill 命令将缺失数据扩充进来。
. tsfill
. list edlevel year income, sep(0)
+-------------------------+
| edlevel year income |
|-------------------------|
1. | 1 1988 14500 |
2. | 1 1989 14750 |
3. | 1 1990 14950 |
4. | 1 1991 15100 |
5. | 2 1989 22100 |
6. | 2 1990 22200 |
7. | 2 1991 . |
8. | 2 1992 22800 |
+-------------------------+
当然，我们也可以按照「平衡面板」数据结构来进行观察值填补，只需在 tsfill 命令后加入 full 选项。
. webuse tsfillxmpl2, clear
. xtset edlevel year
panel variable: edlevel (unbalanced)
time variable: year, 1988 to 1992, but with a gap
delta: 1 unit
. tsfill, full
. list edlevel year income
+-------------------------+
| edlevel year income |
|-------------------------|
1. | 1 1988 14500 |
2. | 1 1989 14750 |
3. | 1 1990 14950 |
4. | 1 1991 15100 |
5. | 1 1992 . |
|-------------------------|
6. | 2 1988 . |
7. | 2 1989 22100 |
8. | 2 1990 22200 |
9. | 2 1991 . |
10. | 2 1992 22800 |
+-------------------------+
可以看到在扩充了 3 个观察值后，数据变成了「平衡面板」数据。接下来，我们要对缺失值填充。
. ipolate income year, gen(ipinc1)
. list edlevel year income ipinc1
+----------------------------------+
| edlevel year income ipinc1 |
|----------------------------------|
1. | 1 1988 14500 14500 |
2. | 1 1989 14750 18425 |
3. | 1 1990 14950 18575 |
4. | 1 1991 15100 15100 |
5. | 1 1992 . 22800 |
|----------------------------------|
6. | 2 1988 . 14500 |
7. | 2 1989 22100 18425 |
8. | 2 1990 22200 18575 |
9. | 2 1991 . 15100 |
10. | 2 1992 22800 22800 |
+----------------------------------+
5. iploate 方法评价
优点
定义简单 当数据之间没有任何相关特征的时候比较适用
缺点
它仅考虑了数据的局部结构； 它通常会减少数据的变异性； 显然补齐的数据并不是数据的完整特征，数据被人为的简单化了。
注意
通过人为地在数据中引入间隙，可以了解「插值法」处理该数据的效果； 尝试不同的插值方法来了解它们之间的一致程度。
参考资料
Hamming R. Numerical methods for scientists and engineers[M]. Courier Corporation, 2012. Link Morton, B.R. Numerical approximation[M]. London: Routledge and Kegan Paul, 1964. Link Press W H, Teukolsky S A, Vetterling W T, et al. Numerical recipes 3rd edition: The art of scientific computing[M]. Cambridge university press, 2007. Link The Difference Between Extrapolation and Interpolation Link
课程推荐：面板数据因果推断
主讲老师：徐轶青 (斯坦福大学)
🍓 课程主页：https://gitee.com/arlionn/Course
New！ Stata 搜索神器：
lianxh和songblGIF 动图介绍
搜： 推文、数据分享、期刊论文、重现代码 ……
👉 安装：
. ssc install lianxh
. ssc install songbl
👉 使用：
. lianxh DID 倍分法
. songbl all
🍏 关于我们
连享会 ( www.lianxh.cn，推文列表) 由中山大学连玉君老师团队创办，定期分享实证分析经验。 直通车： 👉【百度一下： 连享会】即可直达连享会主页。亦可进一步添加 「知乎」,「b 站」,「面板数据」,「公开课」 等关键词细化搜索。